【短记】证明最小二乘法预测目标值的条件期望
问题描述与符号定义
最小二乘法在面对“逆问题”时会有挑战。比如说我有一个函数$y=f(x)=x^2$，由于x和y之间不是双射，不存在逆映射$f^{-1}$。而如果我使用最小二乘法，通过$y$预测$x$,预测结果会是y对应两个x的均值，导致结果不准确。
考虑有自变量$x = (x_1, x_2, ..., x_n)$，因变量$y = (y_1, y_2, ..., y_n)$，我们希望找到一个函数$f(x)$，使得$f(x)$与$y$的均方误差最小。假设模型为线性模型，存在全局最优解。
期望风险和经验风险：过去接触的最小二乘法是基于经验风险的，即基于样本数据的均方误差。这里要注意采样和分布的区别。由于经验风险是期望风险的无偏估计，所以在样本量足够大的情况下，经验风险和期望风险的差异会收敛到0。
理想情况下，我们希望最小化期望风险：
$$
\min_{f} E = \int\int (y - f(x))^2 p(x, y) \mathrm{d}x \mathrm{d}y
$$
证明
由于存在全局最优解，那我们希望通过梯度为0找到极值点，该点即为全局最优解：
$$
\frac{\partial E}{\partial f} = 2\int\int (y - f(x)) p(x, y) \mathrm{d}x \mathrm{d}y = 0
$$
观察这个式子，我们可以把$y$和$f(x)$放在等号两边，得到：
$$
\int\int y p(x, y) \mathrm{d}x \mathrm{d}y = \int\int f(x) p(x, y) \mathrm{d}x \mathrm{d}y \\ \Rightarrow
\int\int y p(y|x) p(x) \mathrm{d}x \mathrm{d}y = \int\int f(x) p(y|x) p(x) \mathrm{d}x \mathrm{d}y \\ \Rightarrow
\int p(x) \mathrm{d}x \int y p(y|x) \mathrm{d}y = \int\int f(x) p(x) \mathrm{d}x \int p(y|x)\mathrm{d}y \\ \Rightarrow
\mathbb{E}_{y\sim p(y|x)}[y] = \mathbb{E}[f(x)]
$$
